flink内存管理,设置思路,oom问题,一文全
flink内存管理与资源大小设置思路,并行度,slot,taskmanager数量三者的数量关系
尚硅谷YYDS (课件资料)
尚硅谷大数据技术之基于虚拟机 CDH5.12.1(Kerberos、Sentry 等)尚硅谷大数据项目之实时数仓项目 13 天(spark+clickhouse+es)尚硅谷大数据技术之 Structured Steaming。尚硅谷大数据技术之 Kubernetes、Zabbix。尚硅谷大数据技术
大数据精准营销应用(一)
大数据精准营销第一部分------数据的处理
大数据知识面试题-Hive (2022版)
Hive中所有的数据都存储在HDFS中,没有专门的数据存储格式在创建表时指定数据中的分隔符,Hive 就可以映射成功,解析数据。Hive中包含以下数据模型:**db:**在hdfs中表现为hive.metastore.warehouse.dir目录下一个文件夹**table:**在hdfs中表现所属
MapReduce 基础之:图文讲解 MapReduce 工作原理
图文详解mapreduce
ClickHouse 与 Hbase的对比
目录1 ClickHouse与Hbase的基础2 ClickHouse与HBase的架构对比2.1 Hbase架构编辑2.2 ClickHouse的架构编辑3 基本操作对比3.1 HBase3.2 ClickHouse4 数据查询操作5 各维度对比1 ClickHouse与Hbase的基础had
Spark中的Shuffle
一、Spark Shuffle 概述 大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网 络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。但是也 必须提醒大家的是,影响一个Spark作业性能
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)
Flink 常见面试题
Flink 常见面试题
Spark环境搭建安装及配置详细步骤(保姆教程)
Spark环境搭建安装及配置详细步骤
hive-动态分区Dynamic Partition
com往分区表插数据时,需要指定分区。这样一次只能插入一个分区。如果插入数据分散在多个分区中,就要通过动态分区功能,自动创建分区并填充。参数配置在使用动态分区之前,我们要进行一些参数的配置.hive.exec.dynamic.partition默认值:false是否开启动态分区功能,默认false关
数据建模:维度建模
数据建模:维度建模一、数据建模概述二、维度建模1、维度建模过程2、维度建模的基本要素3、维度建模过程举例一、数据建模概述1、数据模型级别概念数据模型:是用一系列相关主题域的集合来描述概要数据需求。概念模型仅仅包括给定的领域和职能中基础和关键的业务实体,同时也给出实体与实体之间关系的描述。逻辑数据模型
Hive自定义UDF函数详解
Hive自定义UDF函数详解一、UDF概述二、UDF种类三、如何自定义UDF四、自定义实现UDF和UDTF4.1 需求4.2 项目pom文件4.3 Hive建表测试及数据4.4 UDF函数编写4.5 UDTF函数编写一、UDF概述UDF全称:User-Defined Functions,即用户自定义
Hadoop安装与配置
第一步:装虚拟机1.新建虚拟机2.典型,下一步,选择你的iso镜像文件,给你的虚拟机命名,选择安装文件位置3.选择一下磁盘大小,最后点完成。安装完成之后和跟下面的步骤来当然你也可以选择中文,需要选择中文就在下面搜索栏中搜ch选择简体中文即可。选择自动分区root密码设置123456,尽量设置简单的,
大数据项目实战——基于某招聘网站进行数据采集及数据分析(六)
第六章 数据可视化掌握 Sqoop 数据迁移工具的迁移工具的使用熟悉关系型数据库 MySQL掌握 SSM JavaEE 开发框架的整合及应用掌握 ECharts 前端框架的使用本篇将应用 Sqoop 将 Hive 中的表数据导出到关系型数据库 MySQL 中,方便后续进行数据可视化处理,使抽象的数据
【spark大数据】spark大数据处理技术入门项目--购物信息分析
spark入门实战项目,加深对处理流程的理解。
升到Flink版本到1.15.0
Flink升级1.15.0
canal-admin的部署与使用,及相关监控
canal-admin的相关
Flink 自定义数据源Connector
flink自定义数据源
大数据面试题--数仓
目录数据仓库理论数据分层E T L星形模型与雪花模型的区别?维度建模(dimensional modeling):数据仓库项目最重要或需要注意的是什么,以及如何处理?关系建模与维度建模拉链表:维度表和事实表数据仓库中的维度和粒度维度建模步骤:如何构建数据仓库?Flink面试题Flink的重启策略:F